Carius lulus dari sekolah pada 1940, setahun selepas bermulanya Perang Dunia Kedua. Beliau menyertai tentera dan hanya diterima selepas dua kali ditolak kerana tidak layak untuk perkhidmatan tentera kerana masalah kurang berat badan. Beliau pertama kali berkhidmat dalam infantri sebelum menjadi sukarelawan untuk cawangan Panzer; bapanya merujuk kepada kereta kebal sebagai "perangkap maut logam."[1][2] Carius telah dipindahkan ke Batalion Panzer Berat ke-502 pada 1943 dan bertempur di sektor utara Medan Timur.

Pada awal 1945 beliau dilantik sebagai komander kompeni Jagdtiger dari Batalion Anti-kereta kebal Berat ke-512, yang pada masa itu terlibat dalam pertempuran di Medan Barat. Pada 8 Mac 1945, Kompeni Ke-2 diarahkan ke barisan hadapan berhampiran Siegburg, di mana ia mengambil bahagian dalam pertahanan Rhine menentang tentera Amerika yang menyeberangi sungai, dengan kejayaan yang terhad. Akhirnya, selepas terperangkap dalam Poket Ruhr di timur Rhine, beliau mengarahkan semua Jagdtigernya dimusnahkan untuk menghalang pasukan musuh daripada menawan mereka secara utuh dan kemudian menyerah diri kepada Tentera AS pada 7 Mei. Dia dibebaskan dari kurungan pada 21 Mei, dua minggu kemudian.[3]

Beliau dianggap sebagai "panzer ace", dikreditkan dengan memusnahkan lebih daripada 150 kereta kebal musuh; kebanyakan rekod pemusnahannya adalah di Medan Timur.[4] Beliau mendakwa dalam autobiografinya bahawa krew penembaknya menembak jatuh pesawat Soviet yang menyerang kereta kebal mereka, berkemungkinna jenis IL-2 dengan meriam utama Tiger I 88mm pada akhir 1943 di Medan Timur.[5]